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搜 索 前 后 用 尸 知 识 水 平 的 评 佑 及 其 变化 情况 分 析 
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摘要 : [目的 /意义 ] 信 息 搜 索 是 人 们 常用 的 信息 查询 方法 ,目前 搜索 系统 在 查找 事实 型 信息 时 支持 效果 

较 好 ,但 是 对 人 们 以 学 习 为 目的 的 搜索 功能 还 缺乏 研究 。“ 搜 索 即 学 习 ”(search as learning) 是 近年 来 交互 式 
信息 检索 的 研究 热点 ,这 类 研究 中 将 搜索 看 作 学 习 的 过 程 , 并 尝试 对 用 户 搜索 中 的 知识 学 习 进 行 评估 ,进而 
提出 系统 支持 用 户 学 习 的 功能 优化 建议 。 本 文 着 重 解决 如 何 全 面 评 估 用 户 搜索 前 后 的 知识 水 平 ,为 此 类 研 
究 提 供 参 考 。 [ 方法 /过程 ] 采 用 用 户 实验 法 ,对 用 户 搜索 前 和 搜索 后 撰写 的 知识 内 容 进 行 评估 ,提出 综合 数 
量 与 质量 维度 的 用 户 知 识 评估 方法 ,对 用 户 在 学 习 型 任务 搜索 前 后 知识 水 平 进行 评估 。 数 据 分 析 阶 段 采用 
统计 方法 来 验证 用 户 搜 索 后 与 搜索 前 的 知识 水 平 差 异 。[ 结果 /结论 ] 研究 发 现 , 用 户 在 知识 数量 上 的 表现 
着 搜索 的 完成 而 变 得 更 加 全 面 和 深入 ,在 知识 点 数量 、 知 识 面 数量 、 知 识 面 广度 和 知识 面 深度 上 都 有 显著 
的 氟 升 。 同 时 ,在 搜索 后 产生 了 专业 度 较 高 的 知识 面 。 对 于 搜索 前 较 模 糊 的 茶 些 概 念 ,在 搜索 后 表达 得 更 
a 在 质量 上 ,搜索 后 绝 大 多 数 的 用 户 都 在 知识 的 相关 性 、 分 析 程 度 及 用 户 观点 的 提出 方面 有 所 
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随 着 信息 技术 和 网 络 技术 的 快速 发 展 ,网 络 上 的 
信息 非常 丰富 ,互联 网 用 户 已 习惯 通过 使 用 网 络 搜索 
系统 查询 和 获取 各 类 信息 。 目 前 的 搜索 引擎 在 查找 事 
实 柄 信息 的 需求 满足 上 已 经 做 得 很 好 ,但 是 当 用 户 面 
临 歇 索性 检索 任务 或 理解 型 .分析 型 学 习 任 务 时 ,搜索 
系统 应 该 如 何 有 效 地 提供 信息 并 帮助 用 户 完成 学 习 任 
务 仍 有 许多 有 待 解 决 的 问题 。 近 年 来 ,搜索 即 学 习 
(search as learning ) 是 当前 交互 式 信 息 检 索 领域 研究 
的 热点 之 一 ””。G.，Marchionini 曾 提 出 搜索 作为 一 
个 信息 发 现 的 过 程 ,用 户 不 是 简单 地 与 系统 进行 信息 
交互 ,而 是 在 过 程 中 也 不 断 地 学 习 和 理解 ,产生 了 超越 
信息 任务 之 外 的 知识 增长 ” 。 用 户 在 搜索 过 程 中 的 知 
识 变化 对 用 户 检索 过 程 的 信息 行为 交互 表现 和 搜索 
的 效果 等 方面 都 可 能 产生 影响 ,进而 影响 信息 搜索 的 
下 一 步 策略 ,甚至 使 整个 搜索 结果 发 生 改 变 。 对 于 以 
学 习 为 目的 的 搜索 来 说 ,用 户 在 知识 上 的 变化 或 搜索 
学 习 产 出 是 评估 搜索 系统 效能 的 标准 之 一 。 近 年 来 研 


究 者 们 开始 从 理论 上 探讨 信息 搜索 过 程 中 的 知识 学 习 
问题 ,并 尝试 提出 多 种 评估 方法 对 用 户 搜索 中 的 知识 
学 习 水 平 进行 评估 ?3 。 对 于 这 些 评 估 方 法 ,研究 者 仍 
在 探索 过 程 中 ,提出 了 用 户 知识 的 数量 .表述 知识 的 长 
度 等 一 些 较为 直观 的 维度 的 测量 ,也 曾经 党 试用 概念 
图 的 方式 衡量 搜索 对 于 用 户 知 识 结构 的 改变 。 本 研究 
不 仅 关注 搜索 给 用 户 带 来 的 知识 点 或 节点 的 数量 的 变 
化 ,也 关注 用 户 产生 的 知识 的 理解 程度 .分 析 程 度 等 质 
量 的 变化 ,并 基于 此 提出 多 维度 知识 水 平 测量 的 方法 ， 
通过 实验 法 来 测量 用 户 搜索 前 后 知识 水 平 及 其 变化 情 
况 。 实 验 过 程 中 被 试 搜 索 4 个 与 学 习 相 关 的 搜索 任 
务 ,并 在 搜索 前 后 撰写 与 搜索 任务 相关 的 文本 答案 。 
本 文 对 用 户 搜索 前 后 的 文本 进行 分 析 , 比较 用 户 搜索 
前 后 对 于 同一 个 搜索 任务 的 知识 水 平 的 变化 ,具体 包 
括 知识 数量 (知识 点 数 、 知 识 面 数 、. 知 识 面 广度 .知识 面 
深度 ) 和 知识 质量 (知识 相关 性 .用 户 观点 .知识 分 析 
程度 ) 两 个 维度 ,并 依据 评估 结果 比较 用 户 搜索 前 后 相 
应 知识 维度 的 差异 。 
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2 相关 研究 


2.1 探索 式 搜 索 与 知识 学 习 

近年 来 , “搜索 即 学 习 ” 成 为 交互 式 信 息 检索 的 研 
究 热 点 ,如 2012 年 SWIRL ( strategic workshop on infor- 
mation retrieval in Lome) 的 研讨 会 “| .2013 年 的 Dagstu- 
hl 高 峰 论坛 ”、2014 年 美国 信息 科学 与 技术 学 会 
(ASIS&T) 第 77 届 年 会 ”、2016 年 国际 计算 机 协会 信 
息 检 索 国 际会 议 (SIGIR ) “等 重要 的 国际 会 议 上 都 有 
关于 这 个 主题 的 专项 研讨 。 关 于 搜索 即 学 习 , 学 者 提 
出 关注 搜索 过 程 中 用 户 的 学 习 过 程 ,搜索 任务 及 其 他 
搜索 情境 对 用 户 学 习 的 影响 ,关注 学 习 效 果 的 测量 与 
评估 方法 以 及 如 何 优化 系统 以 便 支持 用 户 在 搜索 过 程 


关于 用 户 搜索 中 知识 学 习 的 研究 是 与 探索 式 搜索 
任务 的 相关 研究 紧密 联系 的 。G， Marchionini ”提出 了 
探索 式 搜索 ,认为 探索 式 搜索 区 分 于 事实 查找 的 搜索 
佳音, 除了 搜索 基本 的 事实 和 信息 ,更 侧重 于 知识 的 获 
取 概念 的 理解 ,观点 的 曾 释 对比 或 数据 概念 的 聚合 
方面 。 探 索 式 搜索 通常 是 指 在 不 熟悉 目标 领域 、 
TREIER IR .不 确定 达到 目标 的 路 径 的 情况 下 ,用 
良和 能 直接 从 搜索 系统 中 获得 所 需 答案 ,只 能 通过 系 
GDA WR 尝试 ,进而 消除 不 确定 性 '”: 。 探 索 式 
搜索 的 相关 研究 表明 在 探索 式 搜索 下 用 户 交互 行为 的 
特征 和 表现 与 事实 型 搜索 有 较 大 差异 。 例 如 囊 红 和 李 
秋 吧 发现 对 于 提问 应 答 式 搜索 ,用 户 倾向 于 将 问题 本 
身 作 为 检索 词 ;而 在 探索 式 搜索 中 ,任务 越 复杂 ,用 户 
越 怖 向 使 用 检索 词 扩展 进行 搜索 , 且 检 索 词 数量 越 多 ， 
词 频 越 低 , 词 间 的 联系 更 不 紧密 。 同 时 ,探索 式 搜索 中 
浏览 网 页 的 数量 也 比 提问 应 答 式 更 多 ,链接 深度 更 深 。 
张 云 秋 等 "发 现在 探索 式 搜索 中 , 随 着 搜索 主题 难度 
的 增加 ,页 面 的 平均 浏览 时 间 减 少 ,更 难 集中 在 某 一 网 
页 上 进行 精读 。 张 云 秋 等 "也 尝试 对 探索 式 搜索 过 
程 中 用 户 知识 结构 的 改变 进行 了 分 析 , 通 过 被 试 在 搜 
索 前 .后 绘制 的 任务 知识 概念 图 ,发 现在 探索 式 搜索 任 
务 中 ,搜索 者 的 知识 结构 会 有 较 大 改变 ,搜索 者 在 搜索 
过 程 中 试图 构建 新 的 、 复 杂 的 和 更 为 专业 的 知识 结构 。 
探索 式 搜索 包含 的 范围 很 广 ,学 习 相关 的 搜索 是 探索 
式 搜索 中 的 一 种 ,是 以 学 习 为 目的 的 搜索 ,需要 对 搜索 
信息 的 “how” 和 “why” 有 更 加 深入 的 理解 1。K. Col- 
lins-thompson 等 提出 我 们 应 关注 以 学 习 为 导向 的 探索 
式 搜索 (learning -oriented exploratory search) 1 ,学 习 是 


搜索 中 的 重要 认 知 过 程 ,学 习 效果 也 是 评价 探索 式 搜 


索 效 果 的 重要 指标 之 一 。 

2.2 ”用户 知识 水 平 评估 

有 户 搜索 前 已 有 的 知识 水 平 是 信息 检索 领域 的 重 
要 用 户 特征 ,许多 研究 都 证 实 了 用 户 搜索 前 的 知识 水 
平 会 影响 其 信息 行为 及 交互 特征 。 用 户 搜索 后 
的 知识 水 平 被 认为 是 评价 用 户 搜索 效果 的 重要 指标 之 
一 号 。 因 此 ,知识 水 平 的 评估 是 研究 用 户 搜索 中 ,特别 
是 学 习 型 搜索 中 的 核心 问题 。 

在 信息 搜索 行为 研究 中 ,学 者 曾 尝 试 提 出 过 知 干 
种 评估 用 户 知识 水 平 的 方式 。 如 通过 量 表 的 方式 让 用 
户 对 自身 的 知识 水 平 进行 自我 评价 ”-*“ ,这 种 评估 
方式 相对 主观 ,在 很 大 程度 上 依靠 问卷 的 有 效 性 或 是 
个 人 评价 的 准确 情况 。 但 事实 证 明 用 户 对 于 自身 知识 
水 平 的 评价 未 必 准 确 , 存 在 用 户 高 佑 或 低估 个 人 水 平 
的 情况 |。 

部 分 研究 者 通过 测试 的 方式 ,让 用 户 在 搜索 前 或 
搜索 后 作答 与 任务 相关 的 问题 ,这 类 问题 往往 具有 明 
确 且 唯一 的 答案 ,测试 的 得 分 即 代 表 用 户 当 前 的 知识 
IKE. AW. R. Hersh 等 "让 医学 院 的 学 生 在 搜索 
前 后 分 别 对 一 些 医学 相关 有 旦 答案 明确 的 问题 进行 回 
答 ,并 对 他 们 回答 的 正 误 进 行 打分 。 通 过 学 生前 后 得 
分 的 差异 ,说 明 信 息 搜索 对 于 学 生 知识 提升 的 作用 。 
L. Nelson 等 “在 探索 大 众 标注 对 搜索 学 习 的 影响 作 
用 时 ,让 用 户 对 “企业 2.0 混合 ”这 一 任务 进行 时 长 两 
小 时 的 搜索 。 在 搜索 后 ,回答 实验 者 设计 的 该 领域 的 
20 个 判断 题 ,以 得 分 表示 用 户 进 行 搜索 后 的 学 习 
效果 。 

另外 ,也 有 研究 考量 的 是 用 户 搜索 后 完成 的 任务 
摘要 的 质量 ,以 此 来 对 知识 水 平 进行 评估 。 任 务 摘 要 
指 的 是 用 户 根 据 任务 设计 的 要 求 , 完 成 与 任务 相关 的 
小 段 文字 报告 或 文字 回答 。 例 如 Y. Kammer tae 根 
据 用 户 任务 完成 过 程 中 撰写 的 摘要 和 提供 的 关键 词 对 
用 户 搜索 后 的 知识 状态 进行 评估 。 其 中 在 关键 词 方 
面 ,统计 有 价值 的 关键 词 的 数量 ;而 在 任务 摘要 上 , E 
要 计算 用 户 找到 的 论据 的 数量 以 及 罗列 的 相关 组 织 或 
个 人 的 数量 。T，Willoughby 等 探索 学 生 的 领域 知 
识 对 其 学 习 效 果 的 影响 时 ,要 求学 生 针对 任务 主题 ,在 
搜索 后 完成 一 篇 任务 短文 ,通过 计算 短文 中 可 接受 且 
正确 的 陈述 或 短语 的 数量 ,对 学 生 完 成 的 短文 进行 评 
分 5 

以 上 研究 均 侧 重 知 识 点 的 数量 的 测量 ,M. J. Wil- 
son 和 M. L. Wilson!” 提出 知识 质量 也 是 评估 用 户 知 
识 水 平 的 很 重要 的 维度 。 他 们 依据 B. S. Bloom 4° 
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的 认 知 学 习 领 域 分 类 法 ,建立 了 学 习 深 度 测 量 (depth 
of learning) 的 方法 ,对 用 户 信息 检索 前 后 所 写 的 任务 
摘要 进行 了 有 用 性 (该 信息 是 否 有 用 ,4 点 量 表 ) ,分析 
性 (该 信息 用 户 是 否 进行 了 分 析 处 理 ,3 点 量 表 ) .评价 
性 (该 信息 中 是 否 包含 用 户 的 个 人 评价 ,2 点 量 表 ) 的 
人 工 评判 ,以 表示 搜索 是 否 为 用 户 带 来 了 知识 变化 。 
此 外 ,该 研究 还 对 比 了 传统 的 任务 摘要 处 理 办 法 ,计算 
事实 (facts) 和 陈述 (statements ) 的 数量 以 及 摘要 中 话 
题 的 覆盖 情况 等 ,结果 发 现 单一 计算 事实 和 陈述 的 数 
量 将 导致 知识 增长 情况 在 很 大 程度 上 受到 摘要 长 度 的 
影响 ,而 且 仅 对 事实 和 陈述 的 数量 .话题 覆盖 的 数量 进 
行 计算 很 难 表现 出 该 信息 的 质量 。 因 此 ,M. J. Wilson 
FUM. L. Wilson’?! 认为 对 于 知识 的 测量 不 应 该 片面 地 
俩 用 诸如 事实 项 、 分 面 覆盖 度 等 某 一 种 测量 方式 ,而 应 
该 多 方面 测量 ,综合 表示 用 户 当前 的 知识 状态 。 本 文 
综合 上 述 研究 所 提出 的 评估 方式 ,对 用 户 搜 索 前 后 知 
训 苹 用 数量 (知识 点 .知识 面 .知识 面 广度 、 知 识 面 深 
度 j 和 质量 (相关 性 用户 观点 分 析 程 度 ) 相 结合 的 评 
传 体系 ,力图 更 全 面 综合 地 展现 用 户 的 知识 水 平 。 
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= 采用 实验 法 进行 研究 ,本 节 将 具体 介 
乡 用 户 实验 的 被 试 情况 .实验 流程 设计 实验 任务 设计 
的 导体 细节 。 在 用 户 知识 水 平 评估 部 分 ,六 释 本 文 奸 
遍 粳 多 维度 的 知识 水 平 评估 体系 的 具体 内 容 , 并 详细 
描述 基于 该 体系 的 数据 编码 过 程 及 结果 。 
se 用户 实验 

“GO 本 实验 邀请 了 来 自 北 京 大 学 的 32 名 实验 参与 者 。 
男性 12 人 ,女性 20 人 ,年 龄 分 布 在 18 - 30 岁 之 间 。 
他 们 来 自 不 同 的 院 系 :人 文 社 科 类 14 人 ,信息 与 工程 
科学 类 5 人 、 理 学 类 10 人、 医学 类 3 人 , 且 分 布 于 不 同 
的 年 级 :本 科 生 20 人 (大 一 8 人 \ 大 二 3 人 、 大 三 4 人 、 
大 四 5 A) .硕士 研究 生 4 人 .博士 研究 生 8 人 。 实 验 
过 程 中 ,实验 参与 者 不 受 任何 限制 或 干扰 ,以 使 其 尽量 
自然 地 模拟 他 们 在 现实 生活 中 的 搜索 行为 。 

3.1.1 实验 流程 设计 实验 开始 前 ,参与 者 首先 完成 
一 个 基本 情况 调研 的 问卷 和 认 知 类 型 的 测试 ,然后 开 
各 对 4 个 搜索 任务 逐一 进行 搜索 。 在 每 个 任务 搜索 
前 ,实验 参与 者 需 完成 搜索 前 问卷 ,对 该 任务 的 熟悉 
度 、 任 务 难度 进行 量 表 评价 ,同时 用 文字 描述 对 该 任务 
已 经 了 解 的 信息 和 可 能 选用 的 检索 词 。 接 着 实验 参与 
者 正式 对 任务 进行 搜索 ,时 间 不 限 ,在 搜索 过 程 中 记录 
和 整理 自己 认为 合理 的 答案 ,并 将 文本 记录 在 电脑 的 
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记事 本 文件 中 。 当 被 试 认为 自己 的 记事 本 文件 中 已 完 
整 记录 了 该 搜索 任务 的 答案 后 , 即 可 随时 停止 搜索 。 
搜索 结束 后 ,实验 参与 者 关闭 浏览 器 及 搜索 过 程 中 记 
录 的 记事 本 文件 ,回答 搜索 后 问卷 ,对 任务 完成 的 满意 
度 、 搜 索 之 后 任务 的 熟悉 度 、 网 络 信息 的 丰富 度 、 任 务 
的 难度 进行 量 表 评价 ,并 在 不 参考 外 在 信息 (如 相关 网 
页 和 记事 本 文件 ) 的 情况 下 ,通过 记忆 ,用 文字 描述 对 
该 搜索 任务 的 回答 。4 个 搜索 任务 全 部 完成 之 后 , 实 
验 参与 者 填写 实验 后 问卷 ,对 其 搜索 体验 和 搜索 过 程 
进行 评价 。 

实验 中 利用 Morae Recorder 3.3 在 后 台 记 录用 户 

搜索 交互 行为 ,包括 点 击 页 面 的 URL, 每 个 页 面 上 停留 
时 间 、 阅 读 时 间 、 该 页 面 上 鼠标 和 键盘 活动 情况 、 该 页 
面 的 浏览 次 数 ,不 同 页 面 上 的 相对 活动 情况 ,用 户 检 索 
式 的 输入 和 修改 ,用 户 检 索 式 与 页 面 活动 情况 关系 等 
方面 。 
3.1.2 实验 任务 设计 本 实验 的 目的 是 对 用 户 搜 索 
前 后 知识 的 变化 特征 进行 探索 。 因 此 ,在 实验 任务 的 
设计 上 ,围绕 用 户 知识 学 习 这 一 中 心 ,以 J. Lee “的 认 
知 学 习 模式 作为 任务 设计 的 理论 依据 。J. Lee" 在 
B. S. Bloom 等 ” 认 知 学 习 分 类 法 的 基础 上 ,提出 了 
接受 型 学 习 (receptive learning ) 评价 型 学 习 ( ceritical 
learning ) 和 创造 型 学 习 ( creative learning)3 类 新 的 认 知 
学 习 模 式 。 其 中 接受 型 学 习 指 的 是 学 生 对 所 学 习 的 知 
识 的 记忆 、 理 解 和 表达 ,对 应 B. S. Bloom 分 类 中 的 识 
记 (remembering) 和 理解 (understanding ) 层面 ,是 一 种 
相对 浅 层 的 学 习 。 评 价 型 学 习 指 的 是 通过 对 不 同 来 源 
的 知识 进行 反思 、 批 判 和 评估 ,从 而 形成 学 生 自身 的 思 
考 的 过 程 ,对 应 B. S. Bloom 分 类 中 的 应 用 (applying) 、 
分 析 (analyzing ) 和 评价 (evaluating ) 层面 ,是 一 种 比 接 
受 型 学 习 更 为 深层 的 学 习 过 程 。 创 造型 学 习 对 应 B. 
S. Bloom 分 类 中 的 创造 ( creating) 层面 ,是 一 种 要 求 最 
高 的 学 习 模 式 ,需要 学 生 对 所 学 习 的 知识 生成 新 的 想 
法 或 构建 出 新 的 结构 。 

本 实验 选择 了 大 学 生 较 关注 的 日 常生 活 健康 领域 
相关 问题 进行 任务 主题 的 设计 ,基于 接受 型 和 评价 型 
两 个 学 习 层 面 ,设计 了 接受 型 学 习 任 务 和 评价 型 学 习 
任务 两 类 不 同 的 任务 。 每 名 实验 参与 者 需要 对 两 类 学 
习 任 务 展开 搜索 ,每 类 搜索 任务 包括 两 个 不 同 的 搜索 
主题 ,因此 每 个 被 试 共 搜索 4 个 任务 ,任务 顺序 采用 拉 
丁 方 轮换 方法 , 尽 可 能 减少 题目 顺序 和 疲惫 感 给 被 试 
带 来 的 影响 “ 。 不 同类 型 的 任务 描述 示例 如 下 : 

(1) 接 受 型 学 习 任 务 : 北 京 的 筋 考 越 来 越 严 重 , 你 
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别 是 什么 , 哪 种 口罩 适合 年 轻 人 在 北京 长 期 佩戴 。 请 
在 网 络 上 搜索 ,并 在 搜索 的 过 程 中 在 记事 本 中 记录 下 


(2) 评 价 型 学 习 任务 :你 上 初中 的 表 弟 正在 考虑 
加 入 学 校 的 足球 队 ,大 部 分 亲 威 均 对 这 个 主意 感到 先 
同 。 但 也 有 人 提出 足球 是 一 项 危险 的 运动 ,并 且 担心 
会 有 潜在 的 健康 危险 。 他 的 父母 也 想 问 问 你 的 意见 : 
长 期 踢 足球 对 青少年 的 健康 会 有 哪些 危害 ? 是 否 应 该 
让 孩子 加 入 足球 队 。 请 在 网 络 上 搜索 ,并 在 搜索 的 过 
程 中 在 记事 本 中 记录 下 你 的 答案 。 

3.2 用户 知识 水 平 评估 

本 本 研究 以 用 户 搜索 前 后 对 搜索 任务 问题 回答 的 文 
沈 双 基础 ,从 回答 文字 的 定量 和 定性 两 个 维度 综合 评 
传 被 武 的 知识 水 平 。 定 量 的 指标 包括 知识 点 .知识 面 、 
知识 面 广度 .知识 面 深度 ,定性 的 评估 指标 包括 知识 相 
关 硬 .用 户 观点 ,知识 分 析 程 度 等 。 具 体 评估 指标 及 解 
FADE 1 所 示 : 
#1 搜索 用 户 知识 评估 指标 及 其 解释 
变量 说 明 
在 用 户 的 回答 中 有 效 的 名 词 及 数量 词 个 数 

在 用 户 的 回答 中 涉及 的 与 搜索 问题 相关 的 主题 数 


该 回答 提 及 的 知识 面 数 /该 任务 中 的 知识 面 总 数 
É 该 任务 中 用 户 提 及 的 知识 点 数 /用 户 提 及 的 知识 面 数 

网关 性 0 分 :回答 了 和 任务 完全 不 相关 或 是 没有 提供 什么 有 

= 的 信息 

CS 1 分 :回答 了 相对 宽泛 的 .有 一 点 用 的 信息 

© 2 分 :对 于 完成 任务 提供 了 很 有 用 的 信息 

户 观 点 。 “0 分 :没有 提出 用 户 个 人 的 看 法 或 观点 

1 分 :提出 了 用 户 个 人 的 看 法 或 观点 

知识 分 析 程 度 ”0 分 :未 对 观点 或 问题 进行 深入 分 析 ( 区 别 . 利 毙 , 优 劣 
等 的 讨论 ) 


1 分 :对 于 观点 或 任务 有 初步 简单 的 分 析 ( 区别、 利 整 、 
优 劣 等 的 讨论 ) 

2 分 :对 于 观点 或 任务 有 较为 详尽 的 分 析 ( 区 别 、 利 棘 、 
í 


EEFE) 


为 了 获得 以 上 变量 的 信息 ,本 研究 采用 了 三 步 分 
析 法 : 

第 一 步 : 分 词 及 词性 划分 。 首 先 利 用 北京 理工 大 
学 张 华 平 博士 的 NLPIR 汉语 分 词 系统 (又 名 
ICTCLAS2013 ) 对 用 户 搜索 前 后 的 回答 进行 分 词 和 词 
性 的 划分 。 

第 二 步 : 知 识 点 和 知识 面 的 人 工 编码 。 分 词 完成 
之 后 选择 对 其 中 的 名 词 和 数量 词 进行 知识 点 的 人 工 编 


码 。 编 码 主 要 包括 两 个 方面 的 内 容 : 一 是 该 词 是 否 能 
被 接受 作为 知识 点 ;二 是 该 知识 点 属于 任务 的 哪个 知 
识 面 。 人 工 标 注 过 程 由 两 名 编码 人 员 完 成 , 当 两 人 意 
见 不 一 致 时 ,由 独立 的 第 三 位 编码 人 员 对 不 一 致 数据 
进行 再 次 编码 。 任 务 的 知识 面 在 编码 的 过 程 中 不 断 归 
纳 调整 ,最 终 ,对 两 名 编码 人 员 知 识 点 的 编码 一 致 性 进 
行 检验 ,口罩 任务 中 Kappa = 0. 841 ,足球 任务 中 Kappa 
=0. 883 HKF 0.75 ,信和 度 较 高 。 

根据 编码 结果 ,接受 型 学 习 任务 ( 口 四 任务 ) 形成 
了 8 个 知识 面 ,分 别 是 型 号 .材料 ,功能 、 外 观 、 性 质 \ 认 
可 ,使 用 和 价格 , 表 2 列 出 了 与 该 搜索 任务 相关 的 8 个 
知识 面 的 若干 个 知识 点 。 

表 2 接受 型 学 习 ( 口 罩 ) 任 务 知识 面 及 知识 点 编码 


口罩 知识 面 所 属 知识 点 示例 
型 号 N95 .N98 下 N90 
材料 化 纤 TED HER 
功能 Bi SH WIP WIFE 
外 观 耳 挂 式 . 头 戴 式 .罩杯 式 
性 质 透气 性 、 密 闭 性 ,过滤 性 
认可 品牌 标准、 评价 
使 使 用 次 数 、 寿 命 . 周 期 
价格 元 .20 -30 


评价 型 学 习 任 务 ( 足 球 任务 ) 形 成 了 12 个 知识 面 ， 
分 别 是 骨髓 肌肉、 大脑. 内 脏 器 官 、 软 组 织 、 系 统 调节 、 
其 他 身体 损伤 、 身 体 机 能 锻炼 学业、 性 格 、 交 际 、 兴 趣 
和 运动 防护 , 表 3 列 出 了 与 该 搜索 任务 相关 的 12 个 知 
识 面 的 若干 个 知识 点 。 

RI 评价 型 学 习 ( 足 球 ) 任务 知识 面 及 知识 点 编码 


足球 知识 面 所 属 知 识 点 示例 
骨骼 肌肉 DLA DL iF Se CAA AUT 
大 脑 脑 震 荡 .脑膜 炎 ARAL KER 
内 脏 器 官 内 脏 ,心脏 ,心律 失常 
软组织 有 眼睛、 鼻子 、 颈 部 软组织 
系统 调节 呼吸 系统 、 神 经 系统 
其 他 身体 损伤 碰撞 受伤 .对抗 
身体 机 能 锻炼 身体 锻炼 体质、 身体 发 育 
学 业 学 业 MAD AJ 
性 格 意志 力 自信、 性 格 
交际 人 际 交 往 团队、 合作 
兴趣 兴趣 、 爱 好 
运动 防护 护 具 按摩 .装备 
第 三 步 :知识 的 相关 性 、 用 户 观 点 和 分 析 程 度 的 编 


码 。 与 用 户 的 知识 点 和 知识 面 的 编码 过 程 类 似 ,两 名 
编码 人 员 分 别 根 据 表 1, 从 知识 相关 性 、 用 户 观 点 和 知 
识 分 析 程 度 对 32 名 实验 者 两 个 任务 搜索 前 后 的 共 128 
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条 回答 进行 评估 。 得 分 不 一 致 的 回答 由 第 三 位 编码 人 
员 进 行 独立 的 判断 。 最 终 知识 相关 性 Kappa = 0.671, 
用 户 是 否 有 观点 Kappa =0. 95 ,问题 分 析 程度 Kappa = 
0.735, 


4 数据 分 析 结 果 

本 广 通 过 统计 分 析 比 较 用 户 搜 索 前 后 知识 状态 的 
差异 ,分 别 从 知识 数量 (知识 点 数 、 知 识 面 数 、 知 识 面 广 
度 .知识 面 深度 ) 和 知识 质量 (知识 相关 性 .用户 观点 、 
知识 分 析 程 度 ) 两 个 维度 展开 分 析 。 其 中 由 于 知识 的 
数量 是 数值 型 变量 且 满 足 正 态 和 方差 齐 性 的 要 求 , 采 
用 配对 样本 t 检 验 观 测 搜索 前 后 用 户 知识 状态 是 否 存 
在 差异 ;知识 的 质量 是 定 序 变 量 , 则 采用 Wilcoxon 配对 
样本 检验 方法 。 共 计 32 名 被 试 参与 到 本 文 的 实验 中 ， 


j 王 本 文 对 于 知识 的 评估 和 变化 分 析 属于 尝试 性 研 
知 肉 此 在 本 文 分 析 中 暂时 选择 用 户 的 接受 型 学 习 任 
短 于 的 口音 任务 和 评价 型 学 习 任务 中 的 足球 话题 两 个 
EEIT o 

4do 搜索 前 后 用 户 知识 数量 的 变化 

中 用 户 搜索 前 后 的 知识 水 平 在 知识 数量 上 存在 显著 
的 差异 ,如 表 4 所 示 , 通 过 信息 搜索 ,用 户 的 知识 点 数 、 
ACETAL .知识 面 广度 ,知识 面 深度 都 有 显著 增加 。 从 
往 议 均值 可 知 ,搜索 前 每 个 用 户 在 一 个 任务 中 平均 表 
D-4 个 知识 点 ,覆盖 1 -2 个 知识 面 ,对 于 每 个 知识 
I -2 个 知识 点 来 表述 。 而 在 完成 搜索 之 后 ,用 户 
平 轩 表达 的 知识 点 超过 11 个 ,覆盖 3 -4 个 知识 面 ,对 
于 每 个 知识 面 用 3 个 左右 的 知识 点 来 表述 。 笔 者 随后 
镍 二 两 种 搜索 任务 分 别 进行 了 验证 ,结果 发 现 无 论 是 
哪 种 搜索 任务 ,用 户 在 搜索 后 的 知识 数量 都 比 搜索 前 
有 显著 提升 。 

表 4 用 户 搜索 前 后 知识 数量 差异 t 检验 

”知识 数量 “搜索 前 (均值 (方差)) ”搜索 后 (均值 (方差)) 比较 


知识 点 数 3.75(10.1) 11. 16(47.72) p <0. 0001 * 

知识 面 数 1.92(1.72) 3.75(3. 11) p <0. 0001 * 

知识 面 广度 0.21(0.025) 0.40(0.047) p <0. 0001 * 

知识 面 深度 1.66(1.35) 2.85(2.22) p <0. 0001 * 
YE: * p<0.05 


以 下 具体 以 用 户 为 单位 ,从 每 名 用 户 搜 索 前 后 在 
知识 点 及 知识 面 上 的 表现 展开 分 析 。 如 图 1 -图 4 
(ASE 、 纵 坐标 分 别 代表 用 户 在 搜索 前 后 的 知识 点 、 知 识 
面 知 识 面 广度 及 深度 4 个 指标 上 的 数量 分 布 情况 ) 所 
示 , 在 64 个 会 话 中 ,55 个 会 话 中 的 知识 点 数量 ,50 个 
会 话 中 的 知识 面 数量 、 知 识 面 广 度 ,48 个 会 话 中 的 知 
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识 面 深度 方面 的 表现 都 是 优 于 搜索 前 的 。 在 搜索 开始 
之 前 ,有 10 个 会 话 中 的 用 户 感到 对 任务 无 话 可 说 , 即 
知识 点 和 知识 面 数量 都 为 0, 呈 现 出 知识 表达 上 的 困 
难 ,而 这 种 现象 随 着 搜索 的 完成 ,获得 了 有 效 的 改善 ， 
减少 至 2 个 会 话 ,这 个 结果 说 明 对 于 绝 大 多 数 用 户 而 
言 ,搜索 后 的 知识 水 平 在 知识 点 与 知识 面 上 有 所 提升 。 
但 从 图 中 可 以 发 现 , 在 部 分 会 话 中 ,用 户 搜 索 前 后 的 知 
识 点 与 知识 面 数量 呈现 不 变 , 其 至 搜索 后 减少 的 现象 。 
通过 对 这 部 分 用 户 的 个 案 分 析 发 现 ,对 于 一 部 分 用 户 
而 言 ,他们 的 知识 点 与 知识 面 虽然 在 数量 上 没有 增加 ， 
但 具体 内 容 发 生 了 变化 。 比 如 有 的 用 户 搜索 前 后 都 提 
到 了 3 个 知识 面 ,但 搜索 后 其 实 产 生 了 新 的 知识 面 ,去 
掉 了 搜索 前 的 相关 度 较 低 的 知识 面 。 因 此 通过 搜索 ， 
该 用 户 仍然 获得 了 新 的 知识 ,这 解释 了 部 分 用 户 的 知 
识 数 量 绝 对 值 在 搜索 后 未 见 提升 的 原因 。 


搜索 后 知识 点 


0 5 10 15 20 25 30 


搜索 前 知识 点 
图 1 用 户 搜索 前 -搜索 后 知识 点 数量 


搜索 后 知识 面 


搜索 前 知识 面 


2 用户 搜 索 前 -搜索 后 知识 面 数 量 
从 用 户 角 度 分 析 可 知 , 搜 索 后 用 户 的 知识 水 平 在 


知识 点 和 知识 面 的 表现 上 较 搜 索 前 发 生 了 显著 的 提 
升 。 下 面 从 知识 的 角度 ,具体 分 析 搜 索 前 后 知识 面 的 
覆盖 和 变化 情况 , 即 用 户 知识 点 、 知 识 面 的 提升 具体 表 
现在 哪些 知识 上 。 

在 接受 型 任务 (口罩 任务 ) 中 ,如 图 5 和 图 6 所 示 ， 
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搜索 后 知识 面 广度 
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图 3 用 户 搜索 前 - 搜索 后 知识 面 广度 
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搜索 前 知识 面 深度 


图 4 用 户 搜索 前 


搜索 前 后 整体 提 及 的 知识 面 没有 变化 ,但 在 8 类 
知 弧 面 的 分 布 比例 上 有 较 大 差异 。 在 搜索 前 ,用 户 提 
To o 题 ,有 21 人 ,共计 57 个 
知 旋 点 ,其 中 防 斤 , 防 尘 等 功能 被 提 及 的 频次 最 多 。 其 
i Ana cleared 内 容 , 都 有 12 人 提 到 ,20 
个 融 右 知识 点 。 而 对 于 型 号 ,材料 这 类 相对 而 言 专业 
性 较 强 的 知识 面 , 则 提 及 人 数 较 少 ,分 别 只 有 5 人 和 2 
人 。 随 着 用 户 搜索 的 深入 ,情况 发 生 了 显著 的 改变 ,更 
多 的 用 户 意识 到 ,不 同 口音 之 间 的 区 别 与 型 号 和 材质 
有 着 很 大 的 关系 。 因 此 ,虽然 口 旦 的 功能 仍然 在 其 中 
发 挥 着 巨大 的 作用 (有 27 人 涉及 ) ,但 型 号 和 材料 分 别 
上 升 为 27 人 和 20 人 提 及 用 户 ,此 外 对 于 性 质 和 使 用 
的 关注 也 有 显著 提升 。 

在 评价 型 任务 (足球 ) 中 ,用 户 搜索 前 后 整体 提 及 
的 知识 面 变 化 则 比较 明显 ,如 图 7 - 图 8 所 示 , 搜 索 后 
用 户 产生 了 运动 防护 ,大脑 ,性格 和 系统 调节 知识 面 的 
相关 内 容 , 而 这 是 在 搜索 前 用 户 所 没有 涉及 的 。 特 别 
是 运动 防护 这 一 知识 面 ,搜索 之 前 没有 用 户 关 注 到 这 
方面 的 问题 ,但 在 搜索 之 后 ,有 近 三 分 之 一 (10 人 ,38 
个 知识 点 ) 的 用 户 认为 只 要 做 好 防护 方面 的 工作 ,应 该 
主张 孩子 加 入 足球 队 。 在 搜索 前 ,有 15 人 提 到 上 骨骼 肌 
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四 搜索 前 提 及 知识 点 数 


肉 损 伤 ,18 人 提 到 概念 性 模糊 的 损伤 ,例如 对 抗 、 受 伤 
这 类 知识 点 。 而 在 用 户 搜 索 之 后 ,模糊 性 损伤 的 指向 
性 更 加 明确 ,80% 左右 的 用 户 (25 人 ) 都 能 很 明确 地 指 
各 肌肉 知识 
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图 7 知识 面 的 用 户 数量 分 布 (单位 :人 ) 
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综合 来 说 ,用 户 的 知识 在 数量 上 的 表现 随 着 搜索 
的 完成 而 变 得 更 加 全 面 和 深入 ,在 知识 点 数量 ,知识 面 
数量 、 知 识 面 广 度 和 知识 面 深 度 上 都 有 显著 的 提升 。 
同时 随 着 对 任务 理解 的 加 深 ,伴随 着 一 些 专 业 度 较 高 
的 知识 面 的 产生 ,例如 口音 任务 中 的 材质 ,型 号 知识 
面 ,足球 任务 中 的 运动 防护 知识 面 等 ,用 户 对 于 搜索 前 
较 模糊 的 某 些 概念 ,也 能 在 搜索 后 更 清晰 明确 地 表达 。 
例如 足球 任务 中 ,在 搜索 前 用 户 集中 于 对 其 他 身体 损 
伤 知识 面 的 表达 ,是 因为 用 户 大 都 不 明确 具体 损伤 的 
身体 部 位 ,而 在 搜索 之 后 ,用 户主 要 集中 于 对 骨骼 肌肉 
损伤 的 表达 。 

4.2 ”搜索 前 后 用 户 知识 质量 的 变化 

通过 分 析 发 现 ,用 户 搜 索 前 后 在 知识 质量 上 存在 
RAR. MRS 中 各 项 均值 可 知 ,用 户 在 搜索 前 知 
识 西关 性 是否 提出 个 人 观点 ,知识 的 分 析 程 度 的 平均 
得 分 分 别 为 0.84 .0. 13 .0. 39 ,可 知 大 多 数 用 户 对 于 任 
分 曾 知 识 较 薄弱 ,从 而 导致 他 们 很 难 提出 自己 的 观点 
并 通行 深入 的 分 析 。 随 着 用 户 搜索 结束 ,用 户 知识 的 
相交 性 和 分 析 程度 分 别 上 升 至 1.63 和 1.17, 且 过 半数 
用 局 对 任务 相关 话题 产生 了 个 人 的 观点 。 

GQ) #5 用 户 搜索 前 后 知识 质量 差异 W 检验 
GO RRC) RECORD) WR 
知识 相关 性 


0.84(0.45) 1.63(0.43) p <0. 0001 * 

FPP ws 0. 130. 11) 0. 66(0. 23 ) p <0. 0001 * 

ARRAST FERE 0.39(0.4) 1.17(0.68) p <0. 0001 * 
CVE: *p <0.05 


-三 图 9 是 对 用 户 搜索 前 后 相关 性 、 观 点 和 分 析 程 度 
变 公 的 统计 ,由 此 可 以 更 加 清晰 地 展现 出 用 户 个 体 单 
位 在 搜索 前 后 的 变化 。 图 中 的 横 坐 标 各 项 代表 搜索 前 
后 对 应 项 得 分 的 变化 ,例如 “0 -0” 表 示 用 户 搜 索 前 的 
某 个 指标 得 分 为 0, 搜 索 后 对 应 指标 上 的 得 分 仍然 为 
0, 
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可 以 看 出 ,在 知识 相关 性 上 有 所 提升 的 用 户 共 43 
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人 ,包括 “0 -1”6 人 “0 -2712 人 “1 -2”25 人 ;知识 
相关 性 上 不 发 生变 化 的 用 户 共 17 人 ,这 其 中 在 知识 质 
量 上 真正 没有 提升 的 用 户 为 “0 -0"2 人 和 “1 -1”6 
人 ,至 于 “2 -2 的 9 人 ,由 于 在 搜索 前 回答 的 相关 性 已 
经 达到 一 个 比较 良好 的 状态 ,从 评分 来 看 ,没有 继续 上 
升 的 空间 。 

从 用 户 是 否 产 生 个 人 观点 来 看 ,有 过 半数 的 用 户 
(35 人 ) 在 搜索 之 前 没有 表达 对 于 问题 的 个 人 观点 ,但 
在 搜索 之 后 形成 了 观点 , 即 “0 -1”, 但 是 仍 有 21 人 在 
搜索 后 也 没有 提出 个 人 的 观点 , 即 “0 -0”, 因 此 究竟 
是 什么 因素 影响 了 用 户 观 点 的 生成 ,观点 从 无 到 有 的 
昌 户 存在 何 种 特质 ,也 是 本 文 后续 需 要 关注 的 问题 。 

对 于 问题 的 分 析 程 度 , 有 24 人 搜索 前 后 在 分 析 程 

度 上 没有 任何 的 变化 ,这 其 中 包括 15 人 搜索 前 后 对 于 
问题 都 几乎 没有 任何 分 析 , 即 “0 -0”。 有 共计 36 人 在 
问题 的 分 析 程 度 上 有 所 提升 ,包括 "0 -1711 人 ”0 - 
2”18 人 “1 -2”7 人 。 

综合 来 说 ,用 户 搜索 后 的 知识 质量 较 搜 索 前 有 了 
显著 的 提升 ,虽然 本 文 也 不 排除 少量 用 户 在 搜索 之 后 
可 能 会 出 现 知识 质量 下 降 的 情况 ,例如 从 有 观点 转变 
为 无 观点 “1 -0”, 从 强 分 析 程 度 转 为 弱 分 析 程 度 “2 - 
1”。 这 可 能 是 由 于 搜索 过 程 中 用 户 花 费 了 过 多 的 精力 
和 时 间 来 理解 和 分 析 大 量 的 信息 ,导致 其 在 知识 表达 
上 产生 倦 仿 的 情绪 。 


5 ”讨论 及 结论 


本 文 从 知识 数量 与 质量 两 个 维度 对 用 户 搜索 前 后 
的 知识 水 平 进行 评估 并 分 析 用 户 从 搜索 前 到 搜索 后 知 
识 水 平 的 变化 。 通 过 数据 分 析 发 现 ,用 户 搜 索 前 后 的 
知识 水 平 存 在 显著 的 差异 。 具 体 来 说 ,对 于 本 文 构建 
的 知识 评估 体系 中 的 知识 数量 (知识 点 数 、 知 识 面 数 、 
知识 面 广 度 、 知 识 面 深 度 ) 和 知识 质量 (知识 相关 性 、 
用 户 观 点 、 知 识 分 析 程 度 ) 两 个 维度 上 所 有 的 变量 而 
言 , 用 户 搜索 后 较 搜 索 前 的 知识 状态 都 有 显著 的 提升 。 
根据 M. J. Wilson 和 M. L. Wilson’?! 的 说 法 ,这 表明 
知识 的 这 些 评估 维度 对 于 用 户 真实 的 知识 增长 是 灵敏 
的 。 本 研究 不 同 于 M. J. Wilson 和 M. L. Wilson!” 4 
究 之 处 在 于 ,本 文 分 析 的 是 用 户 完成 搜索 后 ,在 不 参考 
任何 网 页 和 相关 资料 的 情况 下 所 撰写 的 答案 ,因此 更 
加 客观 地 展示 了 用 户头 脑 中 存在 的 知识 状态 ,而 不 是 
在 搜索 过 程 中 信息 的 搜集 和 整理 。 总 体 而 言 ,本 文 设 
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计 的 知识 评估 体系 对 于 测量 用 户 的 知识 水 平 是 有 效 
的 ,同时 从 更 加 具体 的 层面 上 验证 了 已 有 研究 所 
提出 的 用 户 信息 检索 的 过 程 往往 伴随 着 知识 的 增长 这 
一 现象 。 

具体 而 言 ,本 研究 发 现 用 户 在 知识 数量 上 的 表现 
随 着 搜索 的 完成 而 变 得 更 加 全 面 和 深入 ,同时 随 着 对 
任务 理解 的 加 深 , 伴 随 着 一 些 专业 度 较 高 的 知识 面 的 
产生 (例如 口罩 任务 中 的 材质 .型 号 知识 面 ,足球 任务 
中 的 运动 防护 知识 面 等 ) ,对 于 搜索 前 较 模 糊 的 某 些 概 
念 ,用 户 也 能 在 搜索 后 更 清晰 明确 的 表达 。 例 如 足球 
任务 中 ,在 搜索 前 用 户 集中 于 对 其 他 身体 损伤 知识 面 
的 表达 ,是 因为 用 户 大 都 不 明确 具体 损伤 的 身体 部 位 ， 
而 在 搜索 之 后 ,用 户主 要 集中 对 于 骨骼 肌肉 损伤 的 表 
过 s> 在 知识 的 相关 性 、 分 析 程 度 及 用 户 观点 的 提出 方 
P 绩 大 多 数 的 用 户 都 在 搜索 后 有 所 提升 。 
|- 本文 从 多 角度 对 用 户 搜索 前 后 的 知识 水 平 进行 评 
依 为 研究 者 对 信息 搜索 中 用 户 的 知识 学 习 评估 问题 
ipl rr 生 的 方案 。 本 研究 还 发 现 搜索 前 后 用 户 的 知 
训 良 平 存 在 一 定 的 变化 , 且 发 现 了 这 些 变化 的 具体 表 
SHE Se ATI He 一 步 探索 哪些 因素 会 对 用 户 
5 孝 前 后 知识 水 平 变化 的 程度 产生 影响 ,如 任务 类 型 、 
代 兴 | 特征、 交互 行为 或 其 他 的 情境 因素 是 否 会 影响 用 
户 获 索 前 后 知识 水 平 的 变化 程度 。 
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Assessment of User Knowledge Level Before and After Searching 
Song Xiaoxuan Liu Chang 
pe Department of Information Management ,Peking University , Beijing 100871 
= Abstract: [ Purpose/significance | Information search extensively influence people’ s daily lives, and people tend to 
MY Search engine to find the information they need. However, the existing search system is better for supporting factual 
tasks search, and it is not satisfactory to support tasks such as searching in order to learn. In recent years, researchers 
hN begun to pay attention to regarding search as learning, and try to evaluate the knowledge learning in search. [ Meth- 
od7 process | For the purpose of mastering users’ learning status in search thoroughly , in this paper, 32 students from Pe- 
kin University were recruited to complete user experiment. User knowledge assessment method considering knowledge 
quantity and quality comprehensively was established in this paper. Based on this knowledge assessment method, user 
knowledge level in learning tasks before and after search was evaluated respectively, and the changes of knowledge level 
wed investigated. [ Result/conclusion | The research shows that users’ performance on knowledge quantity dimension be- 
comes more comprehensive and in-depth with the search completion, and has a significant improvement in the number of 
knowledge points, the number of knowledge facets, the breadth of knowledge facets and the depth of knowledge facets. At 
the same time, there are a number of relatively professional knowledge facets after searching. Some vague knowledge con- 
cept expressions before searching were expressed more clearly and explicitly after searching. In the dimension of knowledge 
quality, knowledge relevance, analysis and user opinion, the vast majority of users improve after searching. This paper 
provides a feasible way for researchers to evaluate user knowledge learning in information search from the perspective of 
multi-angle evaluation of knowledge status before and after searching. 
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